#Few-step Generation - AI Papers Daily

DMAD: Distribution Matching as Adversarial Distillation for Fast Visual Generation

DMAD：分布匹配即对抗蒸馏，用于快速视觉生成

🧭 扩散模型对抗蒸馏加速生成

Texas A&M University · Intelligent Creation, ByteDance

把分布匹配蒸馏重构为对抗式分类，免去辅助 score 模型并实现 1.04 FID 一步生成

📌 工作参考价值（4 点）

工程上，若做商品图/视频/AIGC 的少步扩散蒸馏，可借鉴共享 backbone + 两个判别头的设计，避免维护不断更新的辅助 score 模型，降低显存和计算，简化训练管线。
gap-based reweighting 根据真实样本与教师样本的判别 logit gap 动态调节蒸馏监督，这种自适应加权方式可迁移到推荐排序蒸馏、LLM 生成质量判别蒸馏等场景，替代固定权重。
对于生成式推荐中的 Semantic ID / 商品文案 / 营销物料生成，若希望用少步生成模型降低推理延迟，可尝试把分布匹配目标写成判别损失，并利用 real-teacher gap 调整监督；比单独训练交叉熵或 score 模型更省资源。
论文证明的 logit→log-density ratio 恒等式是通用理论：已有判别器或 LLM reward model 时，用线性 logit 损失就能近似分布梯度，可尝试接入 Agent 或多模态生成 Reward 模型做策略优化。

Training | 2026-10-01 | cs.AI | score 6/10

E-MoE：面向非因子化扩散语言模型的增强型专家混合

🧭 非因子化扩散语言模型 · MoE 路由

Applied AI Institute, Moscow, Russia

利用 MoE 路由决策作为离散共享隐变量，构建非因子化反向过程，在不增加激活参数下提升少步生成质量

📌 工作参考价值（3 点）

若业务中存在少步文本生成需求（如创意文案、标题生成、query 补全、push 文案），E-MoE 可用 MoE 路由决策作为离散共享隐变量，比连续 VAE latent 更不易 posterior collapse，且不增加激活参数，适合在线推理。
非因子化建模思路可迁移：在生成式推荐或 query 生成中，token 间常有强相关性（属性组合、标题模板、风格约束），可尝试将反向过程构造为多个因子化分布的 mixture，通过轻量 MoE router 输出离散 latent 来捕获位置依赖。
工程实现上：共享路由决策不增加 active parameters，意味着在低 NFE 场景下推理时延可控；可在现有 MDLM 基础上仅替换反向建模方式，无需重新设计主干网络。

LLM | 2026-09-28 | HF Daily | score 6/10